# -*- coding:utf-8 -*-
from common.my_http import MyHttp
from common.my_baidu import MyBaidu
from common.my_time import MyTime
from common.my_file import MyFile
from base_market import MarketBase
import glob
import jieba
import re
import threading
import hashlib
import urllib.parse
import time
import os


'''
通用产品数据
'''


class BaiduChanpin(MarketBase):
    def __init__(self, file_name):
        MarketBase.__init__(self, file_name)
        self.attr = []

    def __del__(self):
        pass
    
    def set_attrs(self, attrs):
        self.attr = attrs
    
    def set_param(self, check_site, data_type, max_page, forward):
        self.set_check_title(check_site)
        self.set_type(data_type)
        self.set_max_page(max_page) 
        self.set_forward(forward)
    
    def do_query(self, words):
        print("do_query")
        attrs = ["行业", "产量", "价格", "政策","进口","出口","市场"]
        for d in words:
            for attr in attrs:
                self.get_data([d, attr], [[d],[attr]], ["?",";","-"])

    def do_query_words(self, words):
        print("do_query")
        for d in words:
            self.get_data([d], [[d]], ["?",";","-"])

    def do_query_by_attr(self, words):
        print("do_query")
        for d in words:
            for attr in self.attr:
                self.get_data([d, attr], [[d],[attr]], ["?",";","-"])


def chanpin_api():
    d = BaiduChanpin('./out/' + os.path.split(__file__)[-1].split(".")[0] + ".log")
    
    #电机行业
    d.set_param(False, 2307, 8, 180)
    d.do_query(["伺服电机","钕硼铁","钕铁硼","风机","磁性材料","电磁线","漆包线"])

    #电机器材行业
    d.set_param(False, 2308, 8, 180)
    d.do_query(["发电机","电动机","变压器","整流器","电感器","电容器","电缆","光缆","光纤","镍氢电池","蓄电池","干电池","锌锰电池","正极材料","锂电池","碳酸锂","阴极铜","动力电池","电解液","电池组"])
    
    #食品行业
    d.set_param(False, 2309, 8, 180)
    d.do_query(["油脂","奶油","淀粉","氨基酸","柠檬酸","味精","食用油","功能糖","果葡糖浆","糖醇","液体乳","乳粉","罐头","调味剂","调味品","味精","酱油","保健品"])
    
    #玻璃行业
    d.set_param(False, 2310, 8, 180)
    d.do_query(["光学玻璃","玻璃幕","玻璃原片","玻璃纸","玻璃基板","玻璃钢","安防玻璃","玻璃基板","浮法玻璃","平板玻璃","显示玻璃","新能源玻璃","光电玻璃","超薄玻璃","技术玻璃","超白玻璃","家居玻璃","工程玻璃","太阳能玻璃","光伏玻璃","建筑玻璃","家电玻璃","盖板玻璃"])
    
    #半导体行业
    d.set_param(False, 2311, 8, 180)
    d.do_query(["光电器件","芯片","半导体硅片","射频","肖特基","电源IC","集成电路","TVS","TDDI","MOSFET","芯片封测","微电子","MEMS","PCB","SMT","DIP","光刻胶","功率二极管"])
    
    #新能源行业
    d.set_param(False, 2312, 8, 180)
    d.do_query(["新能源材料","光伏材料","光伏背板"])
    
    #材料
    d.set_param(False, 2313, 8, 180)
    d.do_query(["打印原材料","改性材料","LED材料","复合材料","装饰材料","环保材料","半导体材料","半导体化学材料","包装材料","薄膜材料","保温材料","节能材料","耐火材料","材料膜","超硬材料","磁性材料","催化材料","导热材料","电池材料","电陶材料","电子材料","电子功能材料","电子胶粘材料","电子新材料","发泡材料","反光材料","防火材料","防水材料","防伪材料","防震材料","氟材料","功能材料","负极材料","感光材料","钢基材料","高分子材料","高温过滤材料","隔音材料","催化剂材料","胶粘材料","钴材料","固化材料","光电材料","光伏材料","光显材料","光学材料","光学膜材料","化工材料","合金材料","光纤材料","化学材料","缓冲材料","减震材料","降噪材料","节能灯材料","聚氨酯新材料","聚酯材料","绝缘材料","可变信息材料","锂电池材料","正极材料","幕墙材料","纳米材料","耐腐蚀材料","打印材料","显示材料","气密材料","钎焊材料","前驱体材料","全降解材料","热缩材料","绒面材料","柔性材料","软磁材料","三元材料","渗析材料","生物医疗材料","石化材料","石油材料","食品包装材料","饰面材料","视光材料","塑料缓冲材料","碳材料","搪瓷材料","陶瓷材料","铜基材料","涂饰材料","卫生材料","吸波材料","吸附材料","稀土材料","稀土永磁材料","消耗材料","新能源材料","印刷材料","影像材料","硬材料","永磁材料","再生资源材料","针织材料","制革材料","珠光材料","阻隔材料","阻燃材料"])

    #金属
    d.set_param(False, 2314, 8, 180)
    d.do_query(["电解二氧化锰","电解铝","电解锰","电解镍","电解铅","电解铜","电解液","电解质","铁矿","锰矿","铬矿","铜矿","铅锌矿","镍钴矿","锑矿","铝矿","铅矿","锌矿","镍矿","钴矿","镁矿","金矿","银矿","钨矿","钼矿"])
    
    #建筑行业
    d.set_param(False, 2315, 8, 180)
    d.do_query(["混凝土","商品砼","外加剂","干混砂浆","涂料","水泥","砂石骨料"])
    
    
    #食品添加剂
    d.set_param(False, 2317, 8, 180)
    d.do_query(["食品添加剂","氨基酸","赖氨酸","蛋氨酸","苏氨酸","色氨酸","精氨酸","甘氨酸","酪氨酸","丙氨酸","门冬氨酸","天冬氨酸","亮氨酸","异亮氨酸","脯氨酸","苯丙氨酸","丝氨酸","半胱氨酸","组氨酸","谷氨酸","谷氨酰胺","缬氨酸","胱氨酸","牛磺酸","半胱胺盐酸盐","羟甲基蛋氨酸钙","环丙氨酸","维生素","乙酸酯","棕榈酸酯","胡萝卜素","盐酸硫胺","硝酸硫胺","核黄素","盐酸吡哆醇","氰钴胺","抗坏血酸","抗坏血酸钙","抗坏血酸钠","磷酸酯","棕榈酸酯","生育酚","乙酸酯","亚硫酸氢钠甲萘醌","二甲基嘧啶醇亚硫酸甲萘醌","亚硫酸氢烟酰胺甲萘醌","烟酸","烟酰胺","泛醇","泛酸钙","泛酸钙","叶酸","生物素","氯化胆碱","肌醇","肉碱","肉碱盐酸盐","甜菜碱","羟基胆钙化醇","肉碱酒石酸盐","氯化钠","硫酸钠","磷酸二氢钠","磷酸氢二钠","磷酸二氢钾","磷酸氢二钾","轻质碳酸钙","氯化钙","磷酸氢钙","磷酸二氢钙","磷酸三钙","乳酸钙","葡萄糖酸钙","硫酸镁","氧化镁","氯化镁","柠檬酸亚铁","富马酸亚铁","乳酸亚铁","硫酸亚铁","氯化亚铁","氯化铁","碳酸亚铁","氯化铜","硫酸铜","碱式氯化铜","氧化锌","氯化锌","碳酸锌","硫酸锌","乙酸锌","碱式氯化锌","氯化锰","氧化锰","硫酸锰","碳酸锰","磷酸氢锰","碘化钾","碘化钠","碘酸钾","碘酸钙","氯化钴","乙酸钴","硫酸钴","亚硒酸钠","钼酸钠","络合物","螯合物","酵母铜","酵母铁","酵母锰","酵母硒","蛋白铜","蛋白铁","蛋白锌","蛋白锰","烟酸铬","酵母铬","蛋氨酸铬","吡啶甲酸铬","丙酸铬","甘氨酸锌","丙酸锌","碳酸钴","酶制剂","淀粉酶","大麦芽","半乳糖苷酶","豆粕","纤维素酶","葡聚糖酶","菜籽粕","葡萄糖氧化酶","脂肪酶","麦芽糖","甘露聚糖酶","果胶酶","植酸酶","蛋白酶","角蛋白酶","木聚糖酶","地衣芽孢杆菌","枯草芽孢杆菌","两歧双歧杆菌","粪肠球菌","屎肠球菌","乳酸肠球菌","嗜酸乳杆菌","干酪乳杆菌","乳酸乳杆菌","植物乳杆菌","乳酸片球菌","戊糖片球菌","产朊假丝酵母","酿酒酵母","沼泽红假单胞菌","婴儿双歧杆菌","长双歧杆菌","短双歧杆菌","青春双歧杆菌","嗜热链球菌","罗伊氏乳杆菌","动物双歧杆菌","黑曲霉","米曲霉","迟缓芽孢杆菌","短小芽孢杆菌","纤维二糖乳杆菌","发酵乳杆菌","保加利亚乳杆菌","产丙酸丙酸杆菌","布氏乳杆菌","青贮饲料","牛饲料","副干酪乳杆菌","青贮饲料","凝结芽孢杆菌","侧孢短芽孢杆菌","侧孢芽孢杆菌","非蛋白氮","尿素","碳酸氢铵","硫酸铵","液氨","磷酸二氢铵","磷酸氢二铵","异丁叉二脲","磷酸脲","氯化铵","氨水","抗氧化剂","乙氧基喹啉","丁基羟基茴香醚","二丁基羟基甲苯","没食子酸丙酯","特丁基对苯二酚","茶多酚","维生素E","抗坏血酸","棕榈酸酯","迷迭香提取物","防腐剂","防霉剂和酸度调节剂","甲酸","甲酸铵","甲酸钙","乙酸","双乙酸钠","丙酸","丙酸铵","丙酸钠","丙酸钙","丁酸","丁酸钠","乳酸","苯甲酸","苯甲酸钠","山梨酸","山梨酸钠","山梨酸钾","富马酸","柠檬酸","柠檬酸钾","柠檬酸钠","柠檬酸钙","酒石酸","苹果酸","磷酸","氢氧化钠","碳酸氢钠","氯化钾","碳酸钠","养殖动物","乙酸钙","焦磷酸钠","三聚磷酸钠","六偏磷酸钠","焦亚硫酸钠","焦磷酸一氢三钠","二甲酸钾","氯化铵","亚硫酸钠","青贮饲料","着色剂","胡萝卜素","辣椒红","天然叶黄素","虾青素","红法夫酵母","柠檬黄","日落黄","诱惑红","胭脂红","靛蓝","二氧化钛","焦糖色","赤藓红","苋菜红","亮蓝","糖精","糖精钙","新甲基橙皮苷二氢查耳酮","糖精钠","山梨糖醇","养殖动物","香味物质","牛至香酚","谷氨酸钠","肌苷酸二钠","鸟苷酸二钠","大蒜素","粘结剂","抗结块剂","稳定剂和乳化剂","淀粉","三氧化二铝","可食脂肪酸钙盐","可食用脂肪酸单","双甘油酯","硅酸钙","硅铝酸钠","硫酸钙","硬脂酸钙","甘油脂肪酸酯","聚丙烯酸树脂Ⅱ","山梨醇酐单硬脂酸酯","聚氧乙烯20山梨醇酐单油酸酯","丙二醇","二氧化硅","卵磷脂","海藻酸钠","海藻酸钾","海藻酸铵","琼脂","瓜尔胶","阿拉伯树胶","黄原胶","甘露糖醇","木质素磺酸盐","羧甲基纤维素钠","聚丙烯酸钠","山梨醇酐脂肪酸酯","蔗糖脂肪酸酯","焦磷酸二钠","单硬脂酸甘油酯","聚乙二醇400","磷脂","聚乙二醇甘油蓖麻酸酯","养殖动物","丙三醇","硬脂酸","卡拉胶","决明胶","刺槐豆胶","果胶","微晶纤维素","多糖和寡糖","低聚木糖","木寡糖","低聚壳聚糖","半乳甘露寡糖","果寡糖","甘露寡糖","低聚半乳糖","壳寡糖","葡聚糖","羧甲基壳聚糖","天然类固醇萨洒皂角苷","天然三萜烯皂角苷","二十二碳六烯酸","糖萜素","乙酰氧肟酸","苜蓿提取物","苜蓿多糖","苜蓿黄酮","苜蓿皂甙","杜仲叶提取物","绿原酸","杜仲多糖","杜仲黄酮","淫羊藿提取物","淫羊藿苷","共轭亚油酸","二羟基异黄酮","大豆黄酮","地顶孢霉培养物","紫苏籽提取物","亚油酸","亚麻酸","黄酮","硫酸软骨素","植物甾醇","谷甾醇","菜油甾醇","豆甾醇"])

    #农业
    d.set_param(False, 2305, 8, 180)
    d.do_query(["稻谷","小麦","玉米","豆类","油料","薯类","棉花","麻类","糖料","烟草","蔬菜","食用菌","花卉","坚果","水果","葡萄","柑橘","香蕉","香料","茶叶","天然草","元割草"])
    d.set_attrs(["种植面积", "加工"])
    d.do_query_by_attr(["稻谷","小麦","玉米","豆类","油料","薯类","棉花","麻类","糖料","烟草","蔬菜","食用菌","花卉","坚果","水果","葡萄","柑橘","香蕉","香料","茶叶","天然草","元割草"])

    #畜牧养殖
    d.set_param(False, 2318, 8, 180)
    d.do_query(["牛","马","猪","羊","鸡","鸭","鹅"])
    d.set_attrs(["养殖", "加工", "冷冻", "瘟疫"])
    d.do_query_by_attr(["牛","马","猪","羊","鸡","鸭","鹅"])

    #渔业
    d.set_param(False, 2319, 8, 180)
    d.do_query_words(["海水养殖","淡水养殖","禁渔"])

    #传统能源
    d.set_param(False, 2320, 8, 180)
    d.do_query(["烟煤","褐煤","石油","天然气","可燃冰","页岩油"])

    #非金属矿
    d.set_param(False, 2321, 8, 180)
    d.do_query(["陶瓷","石灰石","石膏","耐火土石","粘土","土砂石","石棉","云母矿","石墨","滑石","宝石","玉石"])

    #酒行业
    d.set_param(False, 2322, 8, 180)
    d.do_query(["白酒","啤酒","黄酒","葡萄酒"])

    #烟草行业
    d.set_param(False, 2323, 8, 180)
    d.do_query(["烟叶","卷烟","电子烟"])

    #纺织服装
    d.set_param(False, 2324, 8, 180)
    d.do_query(["皮革","毛皮","羽毛","羽绒","棉纺纱","棉制造","棉印染","毛纺织","毛条","毛纱线","毛织造","毛染","麻纺织","麻纤维","麻织造","麻染","绢纺","丝织","丝印染","缫丝","化纤织造","化纤织物","针织","钩针编织","家用纺织","床上用品","窗帘","布艺","纺织袋","帘子布","篷布","帆布"])

    #化学原料制造
    d.set_param(False, 2325, 8, 180)
    d.do_query(["无机酸","无机碱","无机盐","氮肥","磷肥","钾肥","复合肥","农药","涂料","油墨","颜料","染料","合成橡胶","合成纤维","化学试剂","化学助剂","动物胶","人造纤维","锦纶","涤纶","腈纶","维纶","丙纶","氨纶"])

    #通用设备
    d.set_param(False, 2316, 8, 180)
    d.do_query(["锅炉","内燃机","汽轮机","水轮机","机床","铸造机械","金属切割","金属焊接","起重设备","电梯","自动扶梯","升降机"])
    #通用设备
    d.set_param(False, 2316, 8, 180)
    d.do_query(["农业机械","起重机","混凝土机械","压实机械","工程机械","路面机械","铲运机械","土石方机械","挖掘机","拖拉机","叉车","叉机","柴油机","发电机","收割机","压捆机"])
    #通用设备
    d.set_param(False, 2316, 8, 180)
    d.do_query(["泵","真空设备","气体压缩机","阀门","旋塞","液压机","轴承","齿轮","变速箱","烘炉","风机","熔炉","电炉","风扇","喷枪","紧固件","密封件","弹簧","零部件"])        


if __name__ == '__main__':
    chanpin_api()
